ParaTempo: Efficient Parallel Reasoning via Temporal Confidence
ParaTempo：基于时序置信度的高效并行推理
🧭 LLM 推理 · 分支级动态计算分配
Shanghai Jiao Tong University · University of Pennsylvania
无需训练的异步并行推理框架，用时序置信度驱动分支剪枝/早退/分叉/投票停止，降延迟 21.8-32.2%、token 18.1-30.3% 且精度持平
📌 工作参考价值（4 点）
- 生成式推荐/Agent 多路径决策：可把“周期性探测答案分布 + 时序置信度”作为分支管理信号，替代 final consensus 或局部 token confidence，更早识别低质分支；适合电商复杂 Agent 的规划/工具调用、搜索 Query 多路改写投票等在线场景。
- 工程实现无需训练，异步不等待慢分支：对商品文案多版本生成、RAG 多路检索答案生成等，可借鉴“低置信剪枝 → 高置信早退 → 释放算力分叉新分支”的编排，降低 token 量与 P99 延迟。
- 时序置信度计算可复用：对每个分支按滑动窗口聚合最近 probe 的答案分布，度量 dominant answer 集中度，作为收敛预警/停止投票信号，比 token-level entropy 更稳定；在生成式推荐语义 ID 投票或用户意图多解评估中可试。
- 停止条件可参考 confidence-weighted vote 集中而非全分支完成，适合需快速响应、长尾分支拖累明显的业务。